Ông Trần Văn Khê có người em trai là nhạc sĩ Trần Văn Trạch và em gái út là Trần Ngọc Sương. Nhạc sĩ Trần Văn Trạch là một trong những nhạc sĩ nổi tiếng ở Sài gòn trước năm 1975. Trần Ngọc Sương sinh năm 1925, từng là ca sĩ lấy biệt hiệu là Ngọc Sương, sau đổi lại là Thủy Ngọc trong những năm 1948-50, và hiện sống tại Montreal, Canada.

Người vợ duy nhất của ông Trần Văn Khê là bà Nguyễn Thị Sương (1921-2014). Ông Trần Văn Khê có bốn người con với bà Sương: Trần Quang Hải hiện là nhà nghiên cứu nhạc dân tộc tại Paris, Trần Quang Minh, kiến trúc sư, hiện sống ở Thành phố Hồ Chí Minh, Trần Thị Thủy Tiên hiện sống tại Paris, và Trần Thị Thủy Ngọc, nhạc sĩ đàn tranh và làm việc cho một ban nghiên cứu Đông Nam Á của trung tâm quốc gia nghiên cứu khoa học ở Paris[12].

Khi ông Khê sang Pháp học năm 1949, do hoàn cảnh, ông và bà Sương không còn sống với nhau nữa. Năm 1960, bà Sương và ông ly dị,[13] tuy nhiên sau này vẫn coi nhau là bạn[14]. Sau đó ông có những người phụ nữ khác nhưng ông không kết hôn thêm lần nào nữa. Ông nói: "Đa tình thì có thể nhưng rất may là tôi không phải là người bạc tình và cũng chưa bao giờ cùng lúc có hai ba người. Chỉ có người này đi qua người khác đến. Cũng chưa có người phụ nữ nào oán trách tôi, khi chia tay chúng tôi đều giữ lại được tình bạn."[15]. Mấy chục năm cuối đời ông sống một mình.

Khi ông Khê sang Pháp học năm 1949, người con gái út của ông là Trần Thị Thủy Ngọc còn nằm trong bụng mẹ chưa ra đời. Sau này, năm 1961 Trần Quang Hải (trưởng nam) sang Pháp, tới năm 1969 đến lượt Thủy Ngọc (con gái út) sang Pháp ở với cha. Còn Trần Quang Minh và Thủy Tiên ở lại Việt Nam, sống với mẹ[13]. Đến 1986, Thuỷ Tiên qua Pháp định cư. Trần Quang Hải kết hôn với ca sĩ Bạch Yến (ca sĩ) sống tại Paris. Trần Quang Minh có gia đình vẫn sống ở Thành phố Hồ Chí Minh cho đến nay.